Ollama는 여러 방식으로 설치할 수 있으며 Docker 컨테이너에서도 실행할 수 있습니다. 지원되는 GPU를 사용하면 일반적으로 더 빠릅니다. CPU와 메모리만으로도 실행할 수 있습니다. 직접 설치하려면 공식 설치 프로그램을 이용하세요.

Windows에서는 설치 후 시작 메뉴에서 실행할 수 있습니다.

PowerShell이나 명령 프롬프트에서 ollama 명령도 사용할 수 있습니다.

설치 후 pull 명령으로 사용할 모델을 내려받습니다. 다음은 원문 작성 시점인 2025년 4월에 소개한 도구 호출용 모델과 임베딩 모델의 예시입니다.

ollama pull llama3.1:8b
ollama pull mxbai-embed-large

기본 포트는 11434입니다. 로컬 Ollama 상태 페이지를 열면 실행 여부를 확인할 수 있습니다.

서비스를 실행하고 모델을 내려받았다면 Trilium에서 채팅 제공자와 임베딩 제공자로 설정할 준비가 된 것입니다.